SIRI: Self-Internalizing Reinforcement Learning with Intrinsic Skills for LLM Agent Training
SIRI: 自我内化强化学习与内在技能
🧭 LLM Agent 强化学习 · 自我技能内化 ★ 深度解读
Xiamen University · Meituan · Macao Polytechnic University
通过三阶段自监督技能挖掘与优势加权内化，让LLM智能体在长程任务中摆脱推理期技能库依赖并取得最优性能。
📌 工作参考价值（4 点）
- 自动技能提取：借鉴自我技能挖掘（Phase 1），可从电商客服或购物Agent的成功交互轨迹中自动总结可复用策略（如处理缺货、比价），无需外部大模型生成，降低人工成本。
- 在线效用验证与技能生命周期管理：采用配对rollout的效用差（Δ_g）动态评估技能质量，并设置候选→激活→退役的进化机制，可确保线上使用的技能始终有效，避免技能库污染。
- 优势加权内部化实现检索自由：通过轨迹级效用门控与动作级优势加权，仅将正向技能引导的动作token蒸馏到基础策略，彻底移除推理期的技能检索、提示注入，显著降低上线延迟与工程复杂度，适合高并发电商推荐与对话系统。
- 训练框架的兼容性：SIRI可与现有RL算法（如GiGPO、GRPO）无缝衔接，作为增量模块提升现有Agent训练流水线，且自我挖掘的技能可逐步逼近外部强模型生成的质量，适合在模型自主进化中逐渐摆脱对昂贵外部API的依赖。